EMRでクラスターを起動してHiveスクリプトを実行する
はじめに
最近、Amazon EMRを触り始めたt.hondaです。タイトルにあるようにEMRのクラスターを立ち上げてHiveスクリプトを実行するまでの手順について書きたいと思います。
手順
1.クラスターの起動
最初にEMRのクラスターを起動します。
マネジメントコンソールでAmazon EMRを選択し、「クラスターを作成」ボタンを押下します。
「クラスターの作成」画面にて幾つかの設定をします。ここでは最低限の設定について取り上げます。
起動モードは「クラスター」、ベンダーは「Amazon」、アプリケーションは「Core Hadoop・・・」を選択します。これらはデフォルトで選択されているかと思います。
EC2のキーペアですが、以降の手順でEC2にアクセスするため、予め作成しておく必要があります。作成済みのキーペアを指定します。その他はデフォルトのままで、ひとまずは大丈夫です。
ここまで設定したら「クラスターを作成」ボタンを押下します。
2.Hiveスクリプトの実行
「クラスターリスト」画面にて起動したクラスターのステータスが「待機中」になったのを確認したら、Hiveスクリプトの実行を行います。
「クラスターリスト」画面にて起動したクラスターを選択し、対象クラスターの「マスターパブリック DNS」を確認します。
確認した「マスターパブリック DNS」を使用して、以下のコマンドでssh接続を行います。このときに先に作成したEC2のキーペアを使用するので、保存場所を把握しておいてください。
$ ssh -i EC2キーペアのパス hadoop@マスターパブリックDNS
「The authenticity of host・・・」という警告がでた場合は「yes」を入力します。
The authenticity of host (中略) (中略) Are you sure you want to continue connecting (yes/no)? yes
ssh接続できたら、Hiveに接続します。これは簡単で「hive」と入力するだけです。
$ hive Logging initialized using configuration in file:/etc/hive/conf.dist/hive-log4j2.properties Async: false hive>
「hive>」が表示されたら、任意のHiveスクリプトを実行してください。
最後に、使用が完了したら忘れずにクラスターの削除を行いましょう。以上です。
